課程影片:https://www.youtube.com/watch?v=vWvAF8OMUs8&feature=youtu.be
先簡單說明RNN的大致流程,以下是兩層的RNN模型:
RNN的缺點是必須要將前面的東西算完後再算後面的東西,因此平行化非常困難。且RNN並沒有將每個資料平等來看,而是一個輸入是一個Input,之前所有東西是另外一個Input,導致無法看到每一個資訊。
Convolution Neural Network(CNN)的好處是容易平行計算,當FFNN要計算時,可以將下面的Convolution的權重平等計算,如果要一次接收很多資訊,可以將層數疊多一點,或是在一層讀多一點資訊。